वर्तमान में बड़े भाषा मॉडल (LLM) के विकास की प्रतियोगिता में, सभी प्रमुख人工智能 कंपनियों को越来越多的挑战 का सामना करना पड़ रहा है, इसलिये越来越多的目光 'Transformer' के अलावा के वैकल्पिक आर्किटेक्चर पर केंद्रित हो रही है। Transformer आर्किटेक्चर को 2017 में गूगल के शोधकर्ताओं द्वारा पेश किया गया था, और यह आज के जनरेटिव आर्टिफिशियल इंटेलिजेंस का आधार बन गया है। इस चुनौती का सामना करने के लिए, MIT द्वारा इनक्यूबेटेड स्टार्टअप Liquid AI ने STAR (Synthesi) नामक एक नई प्रणाली पेश की है।

हाल ही में, DeepMind ने शतरंज के क्षेत्र में विशाल ट्रांसफार्मर के उपयोग पर एक पेपर प्रकाशित किया, जिसने AI समुदाय में व्यापक चर्चा को जन्म दिया। शोधकर्ताओं ने ChessBench नामक एक नए डेटासेट का उपयोग करके 2.7 करोड़ पैरामीटर वाले ट्रांसफार्मर मॉडल को प्रशिक्षित किया, जो शतरंज जैसे जटिल योजना समस्याओं पर इसकी क्षमता का अन्वेषण करता है। ChessBench डेटासेट में Lichess प्लेटफ़ॉर्म से एकत्रित 10 मिलियन मानव खेल की चालों का संग्रह शामिल है, और यह काम करता है।

मेटा की FAIR टीम ने हाल ही में Dualformer नामक एक नया Transformer मॉडल पेश किया है, जो मानव की द्विअर्थीय संज्ञानात्मक प्रणाली की नकल करता है और तेजी और धीमी विचार प्रक्रियाओं को बिना किसी बाधा के एकीकृत करता है, जिससे विचारधारा क्षमता और गणना दक्षता में महत्वपूर्ण सुधार हुआ है। मानव विचार प्रक्रिया को आमतौर पर दो प्रणालियों द्वारा नियंत्रित माना जाता है: प्रणाली 1 जो तेज और सहज होती है, और प्रणाली 2 जो धीमी लेकिन अधिक तर्कपूर्ण होती है। पारंपरिक Transformer मॉडल आमतौर पर प्रणाली 1 या प्रणाली 2 में से केवल एक का अनुकरण करते हैं।

हाल ही में बड़े भाषा मॉडल (LLM) में तेजी से विकास हुआ है, जिसमें Transformer मॉडल का महत्वपूर्ण योगदान है। Transformer का मुख्य भाग ध्यान तंत्र है, जो एक सूचना फ़िल्टर की तरह कार्य करता है, जिससे मॉडल वाक्य के सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करता है। लेकिन अत्यंत शक्तिशाली Transformer भी अप्रासंगिक जानकारी से प्रभावित हो सकता है, जैसे कि जब आप पुस्तकालय में एक किताब खोजने की कोशिश कर रहे हों और अप्रासंगिक किताबों के एक ढेर में डूब जाएं, जिससे आपकी दक्षता स्वाभाविक रूप से कम हो जाती है। इस ध्यान तंत्र द्वारा उत्पन्न अप्रासंगिक जानकारी को शोध पत्रों में ध्यान शोर के रूप में संदर्भित किया जाता है। कल्पना करें, आप इसे पढ़ना चाहते हैं।

Meta AI द्वारा जारी किए गए Llama3.1 मॉडल ने प्रदर्शन के मामले में शीर्ष बंद-सोर्स मॉडलों के साथ प्रतिस्पर्धा की है, जो ओपन-सोर्स AI में एक महत्वपूर्ण सफलता का प्रतीक है। यह अगली पीढ़ी का एक बड़ा भाषा मॉडल है, जिसे अनुकूलित प्रशिक्षण स्टैक और बड़े पैमाने पर GPU संसाधनों के समर्थन के साथ विकसित किया गया है, जिसमें कई तकनीकी विशेषताएं शामिल हैं। इसमें संदर्भ की लंबाई को 128K तक बढ़ाना, 8 भाषाओं का समर्थन करना, और कई परीक्षण क्षेत्रों में उत्कृष्ट क्षमता प्रदर्शित करना शामिल है। प्रशिक्षण के बाद की प्रक्रिया के माध्यम से, मॉडल प्रदर्शन में लगातार सुधार करता है, विशेष रूप से निर्देशों का पालन करने, निरंतरता, और बहु-भाषाई अनुवाद में।

आर्टिफिशियल इंटेलिजेंस के तेजी से विकास के आज के युग में, Etched नामक एक कंपनी अपनी सारी संपत्ति एक प्रकार की AI आर्किटेक्चर पर दांव लगा रही है जिसे Transformer कहा जाता है। इस कंपनी ने हाल ही में Transformer के लिए विशेष रूप से डिज़ाइन किए गए पहले एसीआईसी चिप - Sohu का शुभारंभ किया, जो दावा करती है कि इसकी प्रदर्शन वर्तमान बाजार में उपलब्ध किसी भी GPU से कहीं अधिक है, और AI क्षेत्र में एक क्रांतिकारी परिवर्तन लाएगी।

Transformer के भागने वाले आठ लोगों में से अंतिम व्यक्ति आधिकारिक रूप से उद्यमिता में जुट गया! स्थान जापान में AI 'ग्रुप' मॉडल पर, गूगल के क्लासिक Transformer पेपर के 8 लेखकों में से अंतिम। नई कंपनी की स्थापना टोक्यो में, लक्ष्य है एक 'विश्वस्तरीय आर्टिफिशियल इंटेलिजेंस अनुसंधान केंद्र' बनाना।